Какви цени на GPU могат да ни кажат за това как балонът с изкуствен интелект ще изскочи

Едно необичайно нещо за оборудването с изкуствен интелект е, че е доста скъпо за закупуване и доста на ниска цена за наемане.

Искате Nvidia B200 GPU ускорител? Закупуването на подобен при стартирането му в края на 2024 година евентуално би коствало към 500 000 $, което е преди всички разноски, свързани с включването и включването му. И въпреки всичко до началото на 2025 година същият хардуер може да бъде нает за към $3,20 на час. До предишния месец минималната цена на B200 падна до $2,80 на час.

Nvidia надгражда архитектурата на своя чип през година, тъй че има опция за най-добре финансираните оператори на центрове за данни да притеглят клиенти с ниски цени за всичко, което не е авангардно. Отвън непрекъснатият спад в цените за наем на GPU наподобява на хищническа ценова война, на която софтуерната промишленост разчита: изгаряйте пари, до момента в който всичките ви съперници са мъртви.

Доказателствата обаче са по-сложни. Колко комплицирано? добре . . . 

Горната диаграма употребява данни за цените, събрани от RBC Capital Markets. Разбира се, това демонстрира, че междинната цена на GPU е слаба. За чиповете H200 и H100 на Nvidia цените на час са намалели надлежно с 29 % и 22 % през годината досега.

Това, което може да е по-малко явно, е, че измежду хипермащаберите – AWS на Amazon, Azure на Microsoft, Гугъл и Oracle – цените съвсем не са се трансформирали. Резултатът е все по-голяма разлика сред ставките, налагани от огромната четворка и възходящия брой по-малки съперници.

Ето едни и същи RBC данни, проведени, с цел да покажат релативно ценообразуване за всички графични процесори, което демонстрира до каква степен новите участници намаляват междинните цени. Междувременно, за клиентите с хипермащаб, сметката за GPU за този месец съвсем постоянно ще бъде същата като сметката за предишния месец:

Ценовите войни в действителния свят постоянно включват дребни компании, които подбиват огромните, само че това е обърната версия на това по какъв начин нормално работят технологиите. за какво Не знаем, само че ето едно съмнение.

Клиентите на GPU като услуга в предишното са били започващи компании с изкуствен интелект и проучвателен институции, които желаят да образоват нови модели, което значи, че се нуждаят от доста изчислителна мощ за релативно къс интервал. Те може към този момент да са клиенти на хиперскалерите, тъй че оставането при еднакъв хост може да има преимущества за последователност, успеваемост и сигурност, които оправдават наградата.

Вторият вид клиенти са елементарните корпоративни, които желаят чатботове за уеб страници, принадлежности за обобщаване или сходни джаджи с изкуствен интелект. Само доста огромни и/или параноични организации желаят да ръководят нужната инфраструктура, тъй че всички останали може в предишното да са употребявали GPU в облака. Сега обаче е доста по-вероятно да основават чатботове и така нататък, употребявайки подготвен LLM като OpenAI или Anthropic и да заплащат на токен, а не на час.

Who’s left? Най-вече това е утайката. Индустриални ферми за мръсотия. Обедняли учени. Wannabe количествени хедж фондове. Виртуални разработчици на waifu. Любители, които избират да не употребяват нещо прекомерно готово, тъй като желаят да генерират мръсни видеоклипове или да правят закононарушения. Разходите са потънали в гонене на всеки клиент и това е всичко, което е останало.

Може ли компания за GPU като услуга да се оправи с този вид клиенти? Ето един доста банален модел на играчка. Един Nvidia A100 от базово равнище коства $199 000 при стартирането си през 2020 година Въз основа на почти петгодишния потребен живот на чипа и 100% време на работа, той ще би трябвало да генерира към $4 на час, с цел да излезе на доходност.

Средната цена за A100 през 2020 година е $2,40 на час. Сега това е паднало до към $1,65 на час, само че междинната стойност се изкривява от хипермащабите, които не престават да таксуват повече от $4, когато техните съперници падат до $0,40. Това е модел играчка, който подценява всевъзможни значими неща (ценообразуване на водещи загуби, групиране, кръстосани продажби, наказания за преданост, препродажба на свободен капацитет), само че въпреки всичко може да предложи рационална мярка, посредством която да прецените чие ценообразуване е рационално.

Въз основа на всичко нагоре, ето пет вероятни изводи:

Много графични процесори на Nvidia от епохата на пандемията ще се насочат към преобразуватели на пари, които в никакъв случай не са благи лицето си.

Клиентите, привлечени от ниските изчислителни разноски за AI, към момента не са посочили огромна дарба, предпочитание или податливост да заплащат повече.

Хипермащабите не имат вяра, че тези клиенти си коства да се конкурират, по тази причина избраха да изчакат края на пониженията на пазара да почине от несъстоятелност.

Неизбежното разклащане на центровете за данни ще убие доста започващи AI компании, които не могат да си разрешат да заплащат какво в действителност коства изчислението.

Може да надценяваме размера на пазара на графични процесори, в случай че междинното равнище — което значи елементарни компании, които желаят OpenAI и Anthropic да създадат своите чатботове, принадлежности за обобщаване и сходни AI уиджети — се окаже, че коства по-малко от $3 трилиона.

Така че се наслаждавайте на своя виртуален waifu, до момента в който можете. Тя не е дълго за този свят.

Допълнително четене:
— Осем странни неща в проспекта за IPO на CoreWeave
— Изумителната договорка на Oracle-утре с OpenAI
— Сделка на Nvidia за $100 милиарда с OpenAI: ЧЗВ за Alphaville